目的:分类器传输通常带有数据集偏移。为了克服它们,必须采用在线策略。对于实际应用,必须考虑用于适应批处理学习算法(例如SVM)的计算资源的局限性。方法:我们审查并比较了在线学习的几种策略与SVM。我们专注于限制存储培训数据大小的数据选择策略[...]主要结果:对于不同的数据移动,不同的标准是合适的。对于合成数据,将所有样品添加到所考虑的样品库中的性能通常比其他标准差得多。特别是,仅添加错误分类的样本表现出色。在这里,当其他标准没有得到很好的选择时,平衡标准非常重要。对于转移设置,结果表明,最佳策略取决于转移过程中漂移的强度。添加全部并删除最古老的样品会导致最佳性能,而对于较小的漂移,仅添加SVM的潜在新支持向量就足以减少处理资源。意义:对于基于脑电图模型的BCIS,使用了校准会话中的数据,先前的录制会话,甚至是与一个或其他主题的录音会话进行培训。学习模型的这种转移通常会降低性能,因此可以从在线学习中受益,从而适应了像已建立的SVM这样的分类器。我们表明,通过使用正确的数据选择标准组合,可以适应分类器并在很大程度上提高性能。此外,在某些情况下,可以通过使用特殊样本的子集更新并保留一小部分样品来训练分类器来加快处理并节省计算。
translated by 谷歌翻译
对联合学习系统的梯度反转攻击从交换的梯度信息中重建客户培训数据。为了防止这种攻击,提出了各种防御机制。但是,它们通常会导致隐私和模型效用之间的不可接受的权衡。最近的观察结果表明,如果添加到神经网络中,辍学可以减轻梯度泄漏并改善模型实用性。不幸的是,这种现象尚未系统地研究。在这项工作中,我们彻底分析了辍学对迭代梯度反转攻击的影响。我们发现,由于模型训练过程中辍学引起的随机性,最先进的攻击状态无法重建客户数据。尽管如此,我们认为,如果在攻击优化期间对辍学引起的随机性进行了充分的建模,则辍学者不会提供可靠的保护。因此,我们提出了一种新型的辍学反转攻击(DIA),该攻击(DIA)共同优化了客户数据和辍学蒙版,以近似随机客户端模型。我们对我们对四个开创模型架构的攻击和三个图像分类数据集进行了广泛的系统评估。我们发现,我们提出的攻击绕过了似乎是由辍学引起的保护,并以高保真度重建客户数据。我们的工作表明,不能假定仅仅诱导模型架构变化的隐私变化以可靠地保护梯度泄漏,因此应与互补的防御机制结合使用。
translated by 谷歌翻译
利用梯度泄漏以重建据称为私人培训数据,梯度反演攻击是神经网络协作学习的无处不在威胁。为了防止梯度泄漏而不会遭受模型绩效严重损失的情况,最近的工作提出了一个基于变化模型作为任意模型体系结构的扩展的隐私增强模块(预编码)。在这项工作中,我们研究了预言对梯度反转攻击的影响,以揭示其基本的工作原理。我们表明,各变化建模会引起预科及其随后的层梯度的随机性,从而阻止梯度攻击的收敛性。通过在攻击优化期间有目的地省略那些随机梯度,我们制定了一种可以禁用Precode隐私保护效果的攻击。为了确保对这种有针对性攻击的隐私保护,我们将部分扰动(PPP)提出,作为变异建模和部分梯度扰动的战略组合。我们对四个开创性模型架构和两个图像分类数据集进行了广泛的实证研究。我们发现所有架构都容易梯度泄漏,可以通过PPP预防。因此,我们表明我们的方法需要较小的梯度扰动才能有效地保留隐私而不会损害模型性能。
translated by 谷歌翻译